一次预测多个token，Meta新模型推理加速3倍，编程任务提高17%
一次预测多个token，Meta新模型推理加速3倍，编程任务提高17%“预测下一个token”被认为是大模型的基本范式，一次预测多个tokens又会怎样？
来自主题: AI技术研报
6572 点击 2024-05-03 22:03
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
“预测下一个token”被认为是大模型的基本范式，一次预测多个tokens又会怎样？
尽管蛋白质结构预测取得了重大进展。但对于 80% 以上的蛋白质，迄今为止尚未发现小分子配体。识别大多数蛋白质的小分子配体仍具有挑战性。
2024 年 4 月 20 日，即 Meta 开源 Llama 3 的隔天，初创公司 Groq 宣布其 LPU 推理引擎已部署 Llama 3 的 8B 和 70B 版本，每秒可输出token输提升至800。
智东西4月30日报道，据外媒4月29日报道，当下，Inflection AI、Stability AI和Anthropic等知名AI初创公司都正面临财务危机。
多模态 AI 系统的特点在于能够处理和学习包括自然语言、视觉、音频等各种类型的数据，从而指导其行为决策。近期，将视觉数据纳入大型语言模型 (如 GPT-4V) 的研究取得了重要进展，但如何有效地将图像信息转化为 AI 系统的可执行动作仍面临挑战。
在大语言模型领域，微调是改进模型的重要步骤。伴随开源模型数量日益增多，针对LLM的微调方法同样在推陈出新。
君不见，估值超 25 亿美元一举荣升独角兽。 君不见，闭门研发万亿 MoE 模型 abab 6.5. 君不见，低调上线海螺 AI 功能齐全好用到爆。
自打AI可以生成图片后，“美女”就成了主题之一。“她们”初看惊艳，但时间久了，你就发现人类在用AI塑造女性形象时，审美也是十分单一。这些AI打造的女性形象个个皮肤完美、身材出众。
今年 2 月份，OpenAI 发布了人工智能文生视频大模型 Sora，并放出了第一批视频片段，掀起了 AI 生成视频浪潮。目前，Sora 仍未进行公测，只有一些视觉艺术家、设计师、电影制作人等获得了 Sora 的访问权限。他们发布了一些 Sora 生成的视频短片，其连贯、逼真的生成效果令人惊艳。
近日，特工宇宙有幸邀请到了吕昭波老师进行了一次请教交谈，吕昭波老师是技术布道者、《云端架构》作者、MumuLab 创始人；他的团队 MumuLab 在全球 150+ 团队中脱颖而出，于 4 月 13 日赢得了阿里云 × 魔搭社区的 AI 创客松的冠军。